Cao Hoài Đức là con trai của Cao Hạng Châu (高行周), một vị tướng dưới triều Hậu Chu, khí phách anh hùng, rất hiểu âm luật (Cao Hoài Đức có thể tự sáng tác nhạc khúc). Năm 18 tuổi, ông cùng cha dẫn quân ra bắc ngăn chặn sự xâm lược của nhà Liêu. Tại Thích Thành (戚城, gần Bộc Dương, tỉnh Hà Nam ngày nay), Hạng Chu bị bao vây và không có viện trợ, Hoài Đức đã chiến đấu một cách anh dũng, liều mình giải vây cho cha.

Năm 957, quân Hậu Chu tiến quân vào Thọ Huyện (tỉnh An Huy ngày nay), vùng đất của Nam Đường. Vào ban đêm, Hoài Đức cùng một số người lính đã vượt Hoài Hà để thám thính tình hình và bắt được một người lính của quân Nam Đường, tên này đã khai hết những gì hắn biết. Khi Hậu Chu Thế Tông đang xem cuộc chiến từ trên cao, bắt gặp một vị tướng, tay cầm ngọn giáo, chiến đấu với kẻ thù, ông nhận ra ngay đó là Cao Hoài Đức.

Cao Hoài Đức và Thạch Thủ Tín (石守信) đã cùng nhau đánh bại nhà Bắc Hán, mở đường cho Triệu Khuông Dẫn thống nhất đất nước, lập ra nhà Tống.